AgentDoG 1.5: A Lightweight and Scalable Alignment Framework for AI Agent Safety and Security
AgentDoG 1.5:轻量级可扩展AI Agent安全对齐框架
🧭 Agent 安全对齐与在线护栏
Shanghai Artificial Intelligence Laboratory
用影响函数纯化约1k样本训练0.8B-8B模型,实现与GPT-5.4相当的Agent安全审核性能,并作为无训练在线护栏部署。
📌 工作参考价值(4 点)
- 构建安全分类体系与数据引擎:针对电商Agent(如自动客服、订单操作)可能遇到的风险场景,可先建立细粒度的安全分类法,然后基于分类法指导数据构建,用少量高质量样本训练轻量安全审核模型,降低数据成本。
- 影响函数纯化训练数据:从大量候选数据中筛选对模型安全性提升最有价值的样本,去噪提纯,仅用约1k条数据即可让小模型(0.8B)达到大模型水准,这种数据提纯思路可直接用于业务中安全模型的迭代。
- 极低部署开销的在线护栏:在Docker级环境实现推理时延与成本降低两个数量级,适合在电商Agent系统(如导购、售后)的实时交互中插入安全检查,能以极低计算资源运行,且无需额外训练即可作为即插即用的安全护栏。
- 开源模型与基准:提供了多尺寸模型和训练环境,可直接基于其架构微调适应电商特定安全需求,或将其安全判别能力迁移至自己的Agent管道中。